我们利用预训练的语言模型来解决两种低资源语言的复杂NER任务：中文和西班牙语。我们使用整个单词掩码（WWM）的技术来提高大型和无监督的语料库的掩盖语言建模目标。我们在微调的BERT层之上进行多个神经网络体系结构，将CRF，Bilstms和线性分类器结合在一起。我们所有的模型都优于基线，而我们的最佳性能模型在盲目测试集的评估排行榜上获得了竞争地位。
translated by 谷歌翻译
Human behavior emerges from planning over elaborate decompositions of tasks into goals, subgoals, and low-level actions. How are these decompositions created and used? Here, we propose and evaluate a normative framework for task decomposition based on the simple idea that people decompose tasks to reduce the overall cost of planning while maintaining task performance. Analyzing 11,117 distinct graph-structured planning tasks, we find that our framework justifies several existing heuristics for task decomposition and makes predictions that can be distinguished from two alternative normative accounts. We report a behavioral study of task decomposition ($N=806$) that uses 30 randomly sampled graphs, a larger and more diverse set than that of any previous behavioral study on this topic. We find that human responses are more consistent with our framework for task decomposition than alternative normative accounts and are most consistent with a heuristic -- betweenness centrality -- that is justified by our approach. Taken together, our results provide new theoretical insight into the computational principles underlying the intelligent structuring of goal-directed behavior.
translated by 谷歌翻译
开发有效的自动分类器将真实来源与工件分开，对于宽场光学调查的瞬时随访至关重要。在图像差异过程之后，从减法伪像的瞬态检测鉴定是此类分类器的关键步骤，称为真实 - 博格斯分类问题。我们将自我监督的机器学习模型，深入的自组织地图（DESOM）应用于这个“真实的模拟”分类问题。 DESOM结合了自动编码器和一个自组织图以执行聚类，以根据其维度降低的表示形式来区分真实和虚假的检测。我们使用32x32归一化检测缩略图作为底部的输入。我们展示了不同的模型训练方法，并发现我们的最佳DESOM分类器显示出6.6％的检测率，假阳性率为1.5％。 Desom提供了一种更细微的方法来微调决策边界，以确定与其他类型的分类器（例如在神经网络或决策树上构建的）结合使用时可能进行的实际检测。我们还讨论了DESOM及其局限性的其他潜在用法。
translated by 谷歌翻译
物理知识的神经网络（PINN）已成为解决各种域中的部分微分方程（PDE）的强大工具。尽管PINNS的先前研究主要集中在训练期间构建和平衡损失功能以避免最小值，但采样搭配点对PINNS性能的影响很大程度上被忽略了。在这项工作中，我们发现PINN的性能可以随着不同的采样策略而显着变化，并且使用固定的搭配点可能对PINNS与正确解决方案的收敛性很小。特别是（1）我们假设对PINN的培训依赖于从初始和/或边界条件点到内部点的成功“传播”，而采样策略差的PINN可能会卡在琐事的解决方案上，如果有\ textit {传播失败}。 （2）我们证明，传播失败的特征是高度不平衡的PDE残留场，在非常狭窄的区域中观察到非常高的残留物。 （3）为了减轻传播失败，我们提出了一种新颖的\ textit {Evolutionary采样}（EVO）方法，该方法可以逐步积累高PDE残差区域中的搭配点。我们进一步提供EVO的扩展，以尊重因果关系原理，同时解决时间依赖性PDE。我们从经验上证明了我们提出的方法在各种PDE问题中的功效和效率。
translated by 谷歌翻译
获得抽象知识的能力是人类智力的标志，许多人认为是人类和神经网络模型之间的核心差异之一。代理可以通过元学习对抽象的归纳偏见，在那里他们接受了共享可以学习和应用的一些抽象结构的任务分布的培训。但是，由于很难解释神经网络，因此很难判断代理人是学会了潜在的抽象，或者是该抽象特征的统计模式。在这项工作中，我们比较了人类和代理在荟萃方面学习范式中的表现，其中从抽象规则中产生了任务。我们定义了一种用于构建“任务Metamers”的新方法，该方法与抽象任务的统计数据非常匹配，但使用了不同的基本生成过程，并评估了在抽象和Metamer任务上的性能。在我们的第一组实验中，我们发现人类在抽象任务上的表现要比MetAmer任务更好，而广泛使用的元强化学习代理在抽象任务上的表现要比匹配的Metamers差。在第二组实验中，我们将任务基于直接从经验鉴定的人类先验得出的抽象基础。我们利用相同的过程来生成相应的METAMER任务，并看到人与代理之间的相同双重分离。这项工作为表征人类和机器学习之间的差异奠定了基础，可以在未来的工作中用于以人类行为开发机器。
translated by 谷歌翻译
教师越来越多地将学生为中心的学习技巧纳入课堂上以改善学习结果。除讲座外，这些课程还涉及个人和团体工作的形式，以及更大的学生 - 教练互动。量化课堂活动是加速创新教学实践评估和改进的关键因素，但手动注释不规模。在本手稿中，我们向音频自动课堂活动检测的年轻应用领域提出了进步。使用大学课堂语料库与九个活动标签（例如，“讲座”，“团队工作”，“学生问题”），我们提出并评估了深度完全连接，卷积和经常性的神经网络架构，比较了Mel-FilterBank的性能，开放和自我监督的声学功能。我们将9路分类性能与任务的5路和4路简化进行比较，并评估两种类型的概括：（1）来自先前看到的教练的新课程，（2）以前观看的教练。我们在4路任务上获得了新的细粒度任务和最先进的最新结果：我们最好的模型在概述未经指导员时获得6.2％，7.7％和28.0％的帧级错误率4路，5档和9路分类任务（相对减少35.4％，48.3％，48.3％，21.6％）。在估算在课堂活动上花费的总时间时，我们班级的平均根均方误差为1.64分钟，基线相对减少54.9％。
translated by 谷歌翻译